Dynamic treatment regimes assign personalized treatments to patients sequentially over time based on their baseline information and time-varying covariates. In mobile health applications, these covariates are typically collected at different frequencies over a long time horizon. In this paper, we propose a deep spectral Q-learning algorithm, which integrates principal component analysis (PCA) with deep Q-learning to handle the mixed frequency data. In theory, we prove that the mean return under the estimated optimal policy converges to that under the optimal one and establish its rate of convergence. The usefulness of our proposal is further illustrated via simulations and an application to a diabetes dataset.

Off-policy evaluation (OPE) is a method for estimating the return of a target policy using some pre-collected observational data generated by a potentially different behavior policy. In some cases, there may be unmeasured variables that can confound the action-reward or action-next-state relationships, rendering many existing OPE approaches ineffective. This paper develops an instrumental variable (IV)-based method for consistent OPE in confounded Markov decision processes (MDPs). Similar to single-stage decision making, we show that IV enables us to correctly identify the target policy's value in infinite horizon settings as well. Furthermore, we propose an efficient and robust value estimator and illustrate its effectiveness through extensive simulations and analysis of real data from a world-leading short-video platform.

Off-Policy evaluation (OPE) is concerned with evaluating a new target policy using offline data generated by a potentially different behavior policy. It is critical in a number of sequential decision making problems ranging from healthcare to technology industries. Most of the work in existing literature is focused on evaluating the mean outcome of a given policy, and ignores the variability of the outcome. However, in a variety of applications, criteria other than the mean may be more sensible. For example, when the reward distribution is skewed and asymmetric, quantile-based metrics are often preferred for their robustness. In this paper, we propose a doubly-robust inference procedure for quantile OPE in sequential decision making and study its asymptotic properties. In particular, we propose utilizing state-of-the-art deep conditional generative learning methods to handle parameter-dependent nuisance function estimation. We demonstrate the advantages of this proposed estimator through both simulations and a real-world dataset from a short-video platform. In particular, we find that our proposed estimator outperforms classical OPE estimators for the mean in settings with heavy-tailed reward distributions.

大量证据表明，深神经网络（DNN）容易受到后门攻击的影响，这激发了后门检测方法的发展。现有的后门检测方法通常是针对具有单个特定类型（例如基于补丁或基于扰动）的后门攻击而定制的。但是，在实践中，对手可能会产生多种类型的后门攻击，这挑战了当前的检测策略。基于以下事实：对抗性扰动与触发模式高度相关，本文提出了自适应扰动生成（APG）框架，以通过自适应注射对抗性扰动来检测多种类型的后门攻击。由于不同的触发模式在相同的对抗扰动下显示出高度多样的行为，因此我们首先设计了全球到本地策略，以通过调整攻击的区域和预算来适应多种类型的后门触发器。为了进一步提高扰动注入的效率，我们引入了梯度引导的掩模生成策略，以寻找最佳区域以进行对抗攻击。在多个数据集（CIFAR-10，GTSRB，Tiny-Imagenet）上进行的广泛实验表明，我们的方法以大幅度优于最先进的基线（+12％）。

许多最新的自然语言任务方法都建立在大型语言模型的非凡能力上。大型语言模型可以执行内在的学习，他们可以从几个任务演示中学习新任务，而无需任何参数更新。这项工作研究了对新自然语言任务的数据集创建数据集的含义。与最近的文化学习方法背道而驰，我们制定了一个注释效率的两步框架：选择性注释，选择一个示例池，以提前从未标记的数据中从未标记的数据中进行注释，然后及时检索从注释的池中检索任务示例测试时间。基于此框架，我们提出了一种无监督的，基于图的选择性注释方法VOKE-K，以选择各种代表性的示例进行注释。在10个数据集上进行了广泛的实验（涵盖分类，常识性推理，对话和文本/代码生成）表明，我们的选择性注释方法通过很大的利润提高了任务性能。与随机选择示例进行注释相比，Pote-K平均在注释预算下获得了12.9％/11.4％的相对增益。与最先进的监督登录方法相比，它的性能相似，而在10个任务中的注释成本降低了10-100倍。我们在各种情况下进一步分析了框架的有效性：具有不同大小的语言模型，替代选择性注释方法以及有测试数据域移动的情况。我们希望我们的研究将作为数据注释的基础，因为大型语言模型越来越多地应用于新任务。我们的代码可在https://github.com/hkunlp/icl-selactive-annotation上找到。

鉴于探索性数据分析的日益普及（EDA），了解EDA获得的知识的基本原因至关重要，但仍未进行研究。这项研究首次促进了对数据分析的透明且可解释的观点，称为可解释的数据分析（XDA）。 XDA提供了有关因果和非因果语义的定性和定量解释的数据分析。这样，XDA将显着提高人类对数据分析结果的理解和信心，从而促进现实世界中准确的数据解释和决策。为此，我们提出Xinsight，这是XDA的一般框架。 Xinsight是一种旨在提取因果图，将因果原语转化为XDA语义的三模块，端到端管道，并量化每个解释对数据事实的定量贡献。 Xinsight使用一组设计概念和优化来解决与将因果集成到XDA中相关的固有困难。关于合成和现实世界数据集以及人类评估的实验证明了Xinsight的高度有希望的能力。

人类注释是不完美的，尤其是在初级实践者生产的时候。多专家共识通常被认为是黄金标准，而这种注释协议太昂贵了，无法在许多现实世界中实施。在这项研究中，我们提出了一种完善人类注释的方法，称为神经注释细化（接近）。它基于可学习的隐式函数，该函数将潜在向量解码为表示形状。通过将外观整合为隐式函数的输入，可以固定注释人工制品的外观可见。我们的方法在肾上腺分析的应用中得到了证明。我们首先表明，可以在公共肾上腺细分数据集上修复扭曲的金标准。此外，我们开发了一个新的肾上腺分析（ALAN）数据集，其中拟议的附近，每个病例都由专家分配的肾上腺及其诊断标签（正常与异常）组成。我们表明，经过近距离修复的形状训练的型号比原始的肾上腺更好地诊断肾上腺。 Alan数据集将是开源的，具有1,594个用于肾上腺诊断的形状，它是医学形状分析的新基准。代码和数据集可在https://github.com/m3dv/near上找到。

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

我们提出了一种从单个图像中编辑复杂室内照明的方法，其深度和光源分割掩码。这是一个极具挑战性的问题，需要对复杂的光传输进行建模，并仅通过对场景的部分LDR观察，将HDR照明从材料和几何形状中解散。我们使用两个新颖的组件解决了这个问题：1）一种整体场景重建方法，该方法估计场景反射率和参数3D照明，以及2）一个神经渲染框架，从我们的预测中重新呈现场景。我们使用基于物理的室内光表示，可以进行直观的编辑，并推断可见和看不见的光源。我们的神经渲染框架结合了基于物理的直接照明和阴影渲染，深层网络近似于全球照明。它可以捕获具有挑战性的照明效果，例如柔软的阴影，定向照明，镜面材料和反射。以前的单个图像逆渲染方法通常纠缠场景照明和几何形状，仅支持对象插入等应用程序。取而代之的是，通过将参数3D照明估计与神经场景渲染相结合，我们演示了从单个图像中实现完整场景重新确定（包括光源插入，删除和替换）的第一种自动方法。所有源代码和数据将公开发布。

我们考虑在离线域中的强化学习（RL）方法，没有其他在线数据收集，例如移动健康应用程序。计算机科学文献中的大多数现有策略优化算法都是在易于收集或模拟的在线设置中开发的。通过预采用的离线数据集，它们对移动健康应用程序的概括尚不清楚。本文的目的是开发一个新颖的优势学习框架，以便有效地使用预采用的数据进行策略优化。所提出的方法采用由任何现有的最新RL算法计算的最佳Q-估计器作为输入，并输出一项新策略，其价值比基于初始Q-得出的策略更快地收敛速度。估计器。进行广泛的数值实验以支持我们的理论发现。我们提出的方法的Python实现可在https://github.com/leyuanheart/seal上获得。